Tiền thân của đơn vị là lực lượng "đoàn 301" ở Campuchia năm 1971 bao gồm 3 sư đoàn 5 ,7 ,9. Chủ yếu huấn luyện bộ đội người Việt và đào tạo cả những du kích Campuchia. Đoàn quân này trước đó đã chống cự với Quân lực Việt Nam Cộng hòa (và cả quân đội Hoa Kỳ) ở quy mô nhiều sư đoàn.

Quân đoàn 4 thành lập năm 1974 (Địa điểm thành lập tại khu vực Suối Bà chiêm sau khi đơn vị giải phóng chi khu Đồng xoài rút về) Chiến dịch giải phóng chi khu Đồng xoài lần đầu tiên lực lượng pháo binh của quân đoàn (Cụ thể là Tiểu đoàn 60 lúc bấy giờ Tiểu đoàn trưởng là đồng chí Mạo, Tham mưu trưởng tiểu đoàn là đồng chí Ngô quang Chư tham chiến bằng Cối 160mmm đã làm cho quân ngụy choáng váng vì lần đầu tiên quân địch nhìn thấy quả đạn cối 160mm bị lép không nổ nặng 47 Kg) với các sư đoàn trụ cột 5, 7, 9. Sau chiến dịch Đường 14 - Phước Long, đơn vị giải phóng tỉnh Phước Long (tháng 1 năm 1975), cùng lực lượng vũ trang địa phương giải phóng Dầu Tiếng, Chơn Thành, Định Quán. Trong lúc củng cố quân, đơn vị tách làm 2 để bao vây Sài Gòn theo 2 hướng Đông - Tây.

Lần lượt sư đoàn 5 và 9 dời sang miền tây, cùng sư đoàn Phước Long và sư 8 tạo thành đoàn 232 (Binh Đoàn Cửu Long). Sư đoàn 7 và bộ chỉ huy dời sang hướng đông, phối thuộc sư đoàn 6 và sư 341 đánh Xuân Lộc. Sau khi đánh Lâm Đồng, Xuân Lộc; giải phóng Biên Hòa, đánh chiếm Biệt khu Thủ Đô và một số mục tiêu quan trọng ở nội thành Sài Gòn (trong chiến dịch Hồ Chí Minh). Sau ngày 30/4, đơn vị làm nhiệm vụ quân quản thành phố Sài Gòn - Gia Định.

Năm 1978, quân đoàn 4 có 3 sư đoàn chủ lực: 7, 9, 302 chiến đấu bảo vệ biên giới Tây Nam và đánh Khmer đỏ ở Campuchia (1977-1979). Sau giai đoạn này, được phong tặng danh hiệu "Bức tường thép miền đông nam bộ"